Low-Bit N-Gram Embeddings for Language Models
低比特 N-Gram 嵌入用于语言模型
🧭 n-gram 嵌入低比特量化与内存优化
DualverseAI
低精度存储 n-gram 嵌入表，4-bit 可节省约 75% 表内存且几乎不损失性能
📌 工作参考价值（3 点）
- 若推荐/搜索模型中使用 n-gram 特征嵌入表（如用户行为序列中的连续 token 片段），可尝试 4-bit 量化存储，通常能节省约 75% 内存且性能损失极小，是性价比很高的工程优化。
- 量化后若精度下降，可加入短时微调恢复大部分性能；若内存预算不变，可将节省的内存用于扩大嵌入表容量，反而可能超过原全精度表效果。
- 对于线上已有大模型（如 DeepSeek、Qwen 系列），其 n-gram 模块可直接做低比特量化，实测困惑度增加 <1.2%，下游任务基本不降，适合对内存敏感的场景。